Machine learning models are often susceptible to adversarial perturbations of their inputs. Even small perturbations can cause state-of-the-art classifiers with high "standard" accuracy to produce an incorrect prediction with high confidence. To better understand this phenomenon, we study adversarially robust learning from the viewpoint of generalization. We show that already in a simple natural data model, the sample complexity of robust learning can be significantly larger than that of "standard" learning. This gap is information theoretic and holds irrespective of the training algorithm or the model family. We complement our theoretical results with experiments on popular image classification datasets and show that a similar gap exists here as well. We postulate that the difficulty of training robust classifiers stems, at least partially, from this inherently larger sample complexity.

声音事件检测（SED）和声学场景分类（ASC）是两项广泛研究的音频任务，构成了声学场景分析研究的重要组成部分。考虑声音事件和声学场景之间的共享信息，共同执行这两个任务是复杂的机器聆听系统的自然部分。在本文中，我们研究了几个空间音频特征在训练执行SED和ASC的关节深神经网络（DNN）模型中的有用性。对包含双耳记录和同步声音事件和声学场景标签的两个不同数据集进行了实验，以分析执行SED和ASC之间的差异。提出的结果表明，使用特定双耳特征，主要是与相变（GCC-PHAT）的广义交叉相关性以及相位差异的罪和余弦，从而在单独和关节任务中具有更好的性能模型，与基线方法相比仅基于logmel能量。

人们普遍认为，在传输学习中，包括更多的预训练数据可以转化为更好的性能。但是，最近的证据表明，从源数据集中删除数据实际上也可以提供帮助。在这项工作中，我们仔细研究了源数据集在转移学习中的作用，并提出了探索其对下游性能的影响的框架。我们的框架产生了新的功能，例如精确转移学习脆弱性以及检测诸如数据渗漏等病理和源数据集中存在误导示例之类的病理。特别是，我们证明，消除通过框架确定的有害数据点可改善来自ImageNet的转移学习绩效，以了解各种目标任务。代码可从https://github.com/madrylab/data-transfer获得

使用转移学习将预先训练的“源模型”调整为下游“目标任务”可以大大提高性能，而似乎没有缺点。在这项工作中，我们证明毕竟可能存在一个缺点：偏差转移或源模型偏见的趋势，即使将模型调整为目标类别后，也可以持续存在。通过合成和自然实验的组合，我们表明偏差转移（a）是在现实设置中（例如，在图像网或其他标准数据集上进行预训练时）以及（b）即使明确数据也可能发生（b） - 偏见。随着转移学习的模型越来越多地在现实世界中部署，我们的工作突出了理解预训练源模型的局限性的重要性。代码可从https://github.com/madrylab/bias-transfer获得

现有的方法用于隔离数据集中的硬群和虚假相关性通常需要人为干预。这可以使这些方法具有劳动密集型和特定于数据集的特定方式。为了解决这些缺点，我们提出了一种自动提炼模型故障模式的可扩展方法。具体而言，我们利用线性分类器来识别一致的误差模式，然后又诱导这些故障模式作为特征空间内的方向的自然表示。我们证明，该框架使我们能够发现并自动为培训数据集中的子群体提起挑战，并进行干预以改善模型对这些亚群的绩效。可在https://github.com/madrylab/failure-directions上找到代码

人类运动预测是了解社会环境，在机器人技术，监视等中直接应用的关键。我们提出了一个简单而有效的行人轨迹预测模型，该模型旨在旨在行人在以环境为条件的城市风格环境中进行预测：地图和环绕剂。我们的模型是一种基于神经的架构，可以以迭代顺序方式运行几层注意力块和变压器，从而捕获环境中的重要特征以改善预测。我们表明，如果不明确引入社交面具，动态模型，社交池层或复杂的图形结构，则可以使用SOTA模型在PAR结果上产生，这使我们的方法易于扩展和配置，取决于可用的数据。我们报告与SOTA模型相似的结果，该模型在具有单峰预测指标和FDE的公开可用和可扩展的数据集上。

灵长类动物的视觉系统是强大感知的黄金标准。因此，人们普遍认为，模仿这些系统基础的神经表现形式将产生具有对手稳健的人工视觉系统。在这项工作中，我们开发了一种直接对灵长类动物大脑活动进行对抗性视觉攻击的方法。然后，我们利用这种方法来证明上述信念可能不是很好的基础。具体而言，我们报告说，组成灵长类动物视觉系统的生物神经元表现出对对抗性扰动的敏感性，这些扰动与现有（训练有素的）人工神经网络相当。

缺失或缺乏输入功能，是许多模型调试工具的基础概念。但是，在计算机视觉中，不能简单地从图像中删除像素。因此，一种倾向于诉诸启发式方法，例如涂黑像素，这反过来又可能引入调试过程中的偏见。我们研究了这样的偏见，特别是展示了基于变压器的架构如何使遗失性更自然地实施，哪些侧架来侧翼这些问题并提高了实践中模型调试的可靠性。我们的代码可从https://github.com/madrylab/missingness获得

我们识别普遍对抗扰动（UAP）的性质，将它们与标准的对抗性扰动区分开来。具体而言，我们表明，由投影梯度下降产生的靶向UAPS表现出两种人对齐的特性：语义局部性和空间不变性，标准的靶向对抗扰动缺乏。我们还证明，除标准对抗扰动之外，UAPS含有明显较低的泛化信号 - 即，UAPS在比标准的对抗的扰动的较小程度上利用非鲁棒特征。

为了规划一个安全有效的路线，自主车辆应该预测其周围其他代理的未来动作。运动预测是一个极其具有挑战性的任务，最近获得了研究界的重大关注。在这项工作中，我们对纯粹基于变压器神经网络的不确定性意识的运动预测，为其呈现了一个简单而强烈的基线，这在域变化条件下表明了其有效性。虽然易于实施，所提出的方法实现了竞争性能，并在2021转移车辆运动预测竞争中获得1美元$ ^ {St}美元。